双臂|夹角_程序员买啥游戏机，自己动手做一个体感小游戏

篇首语：本文由编程笔记#小编为大家整理，主要介绍了程序员买啥游戏机，自己动手做一个体感小游戏相关的知识，希望对你有一定的参考价值。

摘要&＃xff1a;结合一个仿制的简易Flappy Bird游戏&＃xff0c;ModelBox体感小游戏就这样诞生了。

本文分享自华为云社区《ModelBox开发案例 - 体感小游戏》&＃xff0c;作者&＃xff1a;菊厂飞戈。

前段时间&＃xff0c;小鱼老师在AI说发布了文章 ModelBox推理真的高效吗&＃xff0c;里面介绍了双阶段单人人体关键点检测案例&＃xff0c;运行速度超快&＃xff1a;使用原生的ONNXRuntime API做开发&＃xff0c;可以达到36fps&＃xff1b;而ModelBox版本&＃xff08;推理框架同样是ONNXRuntime&＃xff09;&＃xff0c;更是达到了接近80fps&＃xff01;

于是乎&＃xff0c;笔者产生了一个大胆的想法&＃xff1a;这么快的人体关键点检测应用&＃xff0c;不用来跑游戏可惜了呀&＃xff01;经过一段时间的开发调试&＃xff0c;结合一个仿制的简易Flappy Bird游戏&＃xff0c;ModelBox体感小游戏诞生了&＃xff1a;

玩家通过上下摆动双臂做出“扇动翅膀”的动作&＃xff0c;阻止小鸟下落&＃xff0c;躲避画面中的“狼柱”&＃xff1b;如果小鸟不小心碰到了“狼”或者触碰到画面边缘&＃xff0c;游戏停止&＃xff0c;然后会重新开始。画面左上方显示的是玩家存活的时长。

本案例使用的是Windows版本的 ModelBox SDK&＃xff0c;如果对此还不熟悉&＃xff0c;请先阅读 ModelBox端云协同AI开发套件&＃xff08;Windows&＃xff09;开发环境篇&＃xff0c;如果对 ModelBox AI应用开发感兴趣&＃xff0c;欢迎参加我们的 ModelBox实战营。

工程结构

本案例是在小鱼老师的 single_human_pose 应用基础上修改而来&＃xff0c;案例所需资源&＃xff08;代码、模型、测试数据等&＃xff09;均可从obs桶下载。工程目录与原始版本基本一致&＃xff0c;下面列出其中不一样的地方&＃xff1a;

single_human_pose
├─data
│ ├─game // 体感游戏资源目录
│ ├─icon // 体感游戏所需的图标资源
│ ├─src // 体感游戏源代码&＃xff0c;可独立运行
│ └─dance_120fps.mp4 // 测试视频
├─etc
│ └─flowunit // 功能单元目录
│ ├─draw_pose // 关键点绘制功能单元
│ ├─draw_pose.py // 关键点绘制功能单元入口文件
│ ├─draw_pose.toml // 关键点绘制功能单元配置文件
│ ├─draw_utils.py // 其他功能函数存放文件
│ ├─flappy.py // Flappy Bird核心逻辑
│ ├─smooth.py // 平滑算法&＃xff0c;使关键点更稳定
│ └─vector.py // 平面坐标系中点的运算
│ ├─... // 其他功能单元
├─graph
│ ├─single_human_pose.toml // 默认的技能流程图
│ └─single_human_pose_camera.toml // 使用摄像头运行的技能流程图
├─...
└─build_project.sh

Flappy Bird

本案例中游戏相关的资源和代码在 data/game 目录下&＃xff0c;我们可以直接执行其中 src 下的 main.py 文件&＃xff0c;得到一个使用键盘控制的 Flappy Bird 游戏。main.py 文件中的核心函数内容如下&＃xff1a;

def run():
# 初始化游戏
snake &＃61; Snake() # 贪吃蛇
flappy &＃61; Flappy() # Flappy Bird
pacman &＃61; Pacman() # 吃豆人
# 初始化摄像头&＃xff0c;参数0表示设备的第一个摄像头
cap &＃61; cv2.VideoCapture(0)
# 判断摄像头初始化是否成功
if not cap.isOpened():
print(&＃39;failed to open camera 0&＃39;)
exit()
# 设置分辨率为 960 x 540
cap.set(3, 960)
cap.set(4, 540)
while True:
# 读取一帧视频图像&＃xff0c;ret表示读取是否成功
ret, frame &＃61; cap.read()
# 对原始图像做高斯模糊&＃xff0c;避免干扰到游戏画面
frame &＃61; cv2.GaussianBlur(frame, (0, 0), 5)
# 阻塞等待键盘响应1ms&＃xff0c;获取按下的按键值
pressed_key &＃61; cv2.waitKey(1) & 0xFF
if pressed_key &＃61;&＃61; ord(&＃39;q&＃39;): # 如果按下q键则退出游戏
break
else: # 根据按键类型更新游戏画面
# frame &＃61; snake.update_snake_keyboard(frame, pressed_key)
frame &＃61; flappy.update_flappy_keyboard(frame, pressed_key)
# frame &＃61; pacman.update_pacman_keyboard(frame, pressed_key)
# 打开一个名为game的窗口&＃xff0c;显示图像
cv2.imshow(&＃39;game&＃39;, frame)
# 释放摄像头资源
cap.release()
# 关闭所有窗口
cv2.destroyAllWindows()

可以看到&＃xff0c;其中包含了3个小游戏&＃xff1a;贪吃蛇、吃豆人和Flappy Bird。游戏界面使用OpenCV绘制&＃xff0c;程序将打开0号摄像头&＃xff0c;将游戏画面叠加在摄像头画面上&＃xff1b;在每帧的绘制中&＃xff0c;程序阻塞1ms等待键盘响应&＃xff0c;根据按键不同控制游戏的运行&＃xff1a;按下空格键将控制小鸟往上飞行一段距离&＃xff08;具体内容查看 src/flappy.py &＃xff09;。开发者可以解开另外两个游戏的注释代码&＃xff0c;试试它们的游戏效果。

关键点绘制功能单元

Flappy Bird游戏与人体关键点检测应用的结合&＃xff0c;完全容纳在 draw_pose 功能单元中。在原始的 single_human_pose 应用里&＃xff0c;这个功能单元只是将检测到的关键点数据绘制到画面中&＃xff1b;本应用中&＃xff0c;在得到人体关键点数据后&＃xff0c;又计算了双臂与身体的夹角&＃xff0c;如果检测到“扇动翅膀”的动作&＃xff0c;则控制小鸟往上飞行一段距离。游戏画面与高斯模糊后的人体关键点画面叠加在一起显示&＃xff0c;既能看到AI应用的效果&＃xff0c;也不至于干扰到游戏画面的显示。

def open(self, config):
...
# 使用图标资源初始化Flappy Bird游戏控制示例
icon_path &＃61; config.get_string("icon_path", ".")
self.flappy &＃61; Flappy(icon_path)
return modelbox.Status.StatusCode.STATUS_SUCCESS
def process(self, data_context):
...
for image, hand_pose in zip(in_image, in_feat):
...
# 获取上一功能单元输出的人体关键点数据
pose_data &＃61; np.array(hand_pose.as_object(), copy&＃61;False)
pose_data &＃61; pose_data.reshape((self.kps, 3))
# 计算双臂与身体的夹角
arm_angles &＃61; get_arm_angles(bbox, pose_data, self.keypoints_smooth)
...
# 在摄像头画面中画出主要的人体关节&＃xff0c;并作高斯模糊
draw_pose(out_img, bbox, pose_data, self.score_thre)
out_img &＃61; cv2.GaussianBlur(out_img, (0, 0), 5)
# 根据双臂动作控制游戏画面更新&＃xff0c;叠加到摄像头画面中做展示
out_img, alive &＃61; self.flappy.update_flappy_pose(out_img, arm_angles, fps)
...
return modelbox.Status.StatusCode.STATUS_SUCCESS

camera流程图

游戏的运行需要实时的摄像头画面&＃xff0c;因此本案例增加了使用PC自带或者外接的USB摄像头作为输入源的流程图&＃xff0c;对应文件为 single_human_pose_camera.toml&＃xff0c;其中的流程图描述 graphconf 内容如下&＃xff1a;

graphconf &＃61; """digraph single_human_pose
node [shape&＃61;Mrecord]
queue_size &＃61; 1
batch_size &＃61; 1
input1[type&＃61;input,flowunit&＃61;input,device&＃61;cpu,deviceid&＃61;0]
data_source_parser[type&＃61;flowunit, flowunit&＃61;data_source_parser, device&＃61;cpu, deviceid&＃61;0]
local_camera[type&＃61;flowunit, flowunit&＃61;local_camera, device&＃61;cpu, deviceid&＃61;0, pix_fmt&＃61;bgr, cam_width&＃61;960, cam_height&＃61;540]
det_pre[type&＃61;flowunit, flowunit&＃61;det_pre, device&＃61;cpu, deviceid&＃61;0]
color_transpose[type&＃61;flowunit flowunit&＃61;packed_planar_transpose device&＃61;cpu deviceid&＃61;0]
normalize[type&＃61;flowunit flowunit&＃61;normalize device&＃61;cpu deviceid&＃61;0 standard_deviation_inverse&＃61;"0.003921568627451, 0.003921568627451, 0.003921568627451"]
det_human[type&＃61;flowunit, flowunit&＃61;det_human, device&＃61;cpu, deviceid&＃61;0, batch_size&＃61;1]
det_post[type&＃61;flowunit, flowunit&＃61;det_post, device&＃61;cpu, deviceid&＃61;0]
object_tracker[type&＃61;flowunit, flowunit&＃61;object_tracker, device&＃61;cpu, deviceid&＃61;0]
expand_box[type&＃61;flowunit, flowunit&＃61;expand_box, device&＃61;cpu, deviceid&＃61;0]
image_resize[type&＃61;flowunit flowunit&＃61;resize device&＃61;cpu deviceid&＃61;"0" image_width&＃61;192, image_height&＃61;256]
color_transpose2[type&＃61;flowunit flowunit&＃61;packed_planar_transpose device&＃61;cpu deviceid&＃61;0]
mean[type&＃61;flowunit flowunit&＃61;mean device&＃61;cpu deviceid&＃61;"0" mean&＃61;"116.28,103.53,123.68"]
normalize2[type&＃61;flowunit flowunit&＃61;normalize device&＃61;cpu deviceid&＃61;"0" standard_deviation_inverse&＃61;"0.0175070,0.01742919,0.01712475"]
det_pose[type&＃61;flowunit, flowunit&＃61;det_pose, device&＃61;cpu, deviceid&＃61;0, batch_size&＃61;1]
pose_post[type&＃61;flowunit, flowunit&＃61;pose_post, device&＃61;cpu, deviceid&＃61;0]
draw_pose[type&＃61;flowunit, flowunit&＃61;draw_pose, device&＃61;cpu, deviceid&＃61;0]
video_out[type&＃61;flowunit, flowunit&＃61;video_out, device&＃61;cpu, deviceid&＃61;0]
input1 -> data_source_parser:in_data
data_source_parser:out_video_url -> local_camera:in_camera_packet
local_camera:out_camera_frame -> det_pre:in_image
det_pre:resized_image -> color_transpose:in_image
color_transpose:out_image -> normalize:in_data
normalize:out_data -> det_human:input
det_human:output1 -> det_post:in_feat1
det_human:output2 -> det_post:in_feat2
det_human:output3 -> det_post:in_feat3
det_pre:out_image -> det_post:in_image
det_post:has_human -> object_tracker:in_image
object_tracker:out_image -> expand_box:in_image
expand_box:out_image -> image_resize:in_image
image_resize:out_image -> color_transpose2:in_image
color_transpose2:out_image -> mean:in_data
mean:out_data -> normalize2:in_data
normalize2:out_data -> det_pose:image
det_pose:heatmap -> pose_post:in_feat
pose_post:out_data -> draw_pose:in_feat
object_tracker:out_image -> draw_pose:in_image
draw_pose:out_image -> video_out:in_video_frame
det_post:no_human -> video_out:in_video_frame
"""

与 single_human_pose.toml 相比&＃xff0c;这个流程图使用 local_camera 替换了 video_demuxer 和 video_decoder 功能单元&＃xff0c;其他部分是一致的。

打开工程目录下bin/mock_task.toml文件&＃xff0c;修改其中的任务输入和任务输出配置为如下内容&＃xff1a;

[input]
type &＃61; "url"
url &＃61; "0" # 表示0号摄像头&＃xff0c;即PC自带摄像头&＃xff0c;若PC无摄像头需外接USB摄像头
[output]
type &＃61; "local"
url &＃61; "0:pose_game" # 表示名为&＃96;&＃96;&＃96;pose_game&＃96;&＃96;&＃96;的本地窗口

即使用编号为0的摄像头&＃xff08;默认为PC自带的摄像头&＃xff09;&＃xff0c;输出画面显示到名为pose_game的本地屏幕窗口中。

执行bin/main.bat camera运行应用&＃xff0c;就可以开始游戏了&＃xff1a;

点击关注&＃xff0c;第一时间了解华为云新鲜技术~